ในยุคที่ตระกูลโทกูงาวะ ยังคงกุมอำนาจทหารส่วนใหญ่ของประเทศ ยามางาตะ เกิดในตระกูลซามูไรระดับล่าง ในเมืองฮางิ ซึ่งเป็นเมืองเอกของแคว้นโชชู (ปัจจุบันคือจังหวัดยามางูจิ) เขาเข้าศึกษาที่โรงเรียนเอกชน โชกาซนจูกุ ซึ่งที่นี่ เขาเป็นแนวร่วมใต้ดินในการต่อต้านอำนาจของรัฐบาลโชกุนโทกูงาวะ เขาได้เป็นหัวหน้าของขบวนการ คิเฮไต ซึ่งเป็นกองกำลังขนาดเล็กๆ ต่อมาในช่วงสงครามโบชิง ปี พ.ศ. 2410-2411 ซึ่งเป็นส่วนหนึ่งของการปฏิรูปเมจิ เขาจึงได้รับการบรรจุเป็นทหารโดยอยู่ฝ่ายองค์จักรพรรดิ

หลังจากที่ฝ่ายพระจักรพรรดิสามารถโค่นล้มอำนาจของตระกูลโทกูงาวะลงได้ ยามางาตะ และ ไซโง สึงูมิชิ ได้รับเลือกเป็นตัวแทนรัฐบาลพระจักรพรรดิไปเยือนยุโรป ในปี พ.ศ. 2412 เพื่อศึกษาระบบการทหารในยุโรป เช่นเดียวกับคนญี่ปุ่นคนอื่นๆ ยามางาตะสนใจมีความสนใจต่อความสำเร็จของปรัสเซีย (เยอรมนี) ในการเปลี่ยนตนเองจากรัฐเกษตรกรรมเป็นรัฐอุตสาหกรรมและการทหารชั้นนำของโลกเป็นอย่างมาก ตัวเขาเองยังรับเอาแนวคิดทางการเมืองแบบปรัสเซียแบบจักรวรรดินิยมเข้ามาด้วย เป็นแนวคิดที่ว่าประเทศควรขยายกำลังทหารไปยังต่างแดนโดยมีรัฐบาลอำนาจนิยมอยู่ที่แผ่นดินแม่ ดังนั้นแล้ว เมื่อเขากลับมายังญี่ปุ่น เขาจึงเรียกร้องให้มีการจัดตั้งระบบเหล่าทัพของญี่ปุ่นขึ้นมา ซึ่งทำให้ในปี พ.ศ. 2416 เขาได้รับแต่งตั้งเป็น เสนาบดีการสงคราม ซึ่งเป็นจุดเริ่มต้นของการจัดตั้ง กองทัพบกจักรวรรดิญี่ปุ่น